AutoEncoder

ANN을 이용해 데이터의 차원을 Hidden layer로 축소시켰다가 다시 복원하는 model.

이 때, 복원하는 과정에서 어느 정도로 복원 되는 지에 따라, 어느 정도의 차원으로 축소 가능한지 결정 가능하므로 dimension reduction에 활용 가능하다.
Embedding의 일종이다.

E = \frac{1}{N} t \sum ∥ x^{t} - DECODE (ENCODE (x^{t})) ∥

: Reconstruction Error가 된다.

Denoising AutoEncoder: Noise가 없는 instance와 Noise가 있는 instance를 모두 넣어서, 같은 noise가 없는 원하는 output을 만드는 AutoEncoder.
Sparse AutoEncoder: 차원을 축소하는 것이 아니라, 증가시켰다가 다시 줄이는 model. 100% 복원 가능하게 되므로, 그 중 특정 부분만 activation되게 하여 local한 특징을 찾아낸다.

testtest